
<!DOCTYPE HTML>
<html lang="" >
    <head>
        <meta charset="UTF-8">
        <meta content="text/html; charset=utf-8" http-equiv="Content-Type">
        <title>Hadoop基础 · GitBook</title>
        <meta http-equiv="X-UA-Compatible" content="IE=edge" />
        <meta name="description" content="">
        <meta name="generator" content="GitBook 3.2.3">
        
        
        
    
    <link rel="stylesheet" href="../gitbook/style.css">

    
            
                
                <link rel="stylesheet" href="../gitbook/gitbook-plugin-highlight/website.css">
                
            
                
                <link rel="stylesheet" href="../gitbook/gitbook-plugin-search/search.css">
                
            
                
                <link rel="stylesheet" href="../gitbook/gitbook-plugin-fontsettings/website.css">
                
            
        

    

    
        
    
        
    
        
    
        
    
        
    
        
    

        
    
    
    <meta name="HandheldFriendly" content="true"/>
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="apple-mobile-web-app-status-bar-style" content="black">
    <link rel="apple-touch-icon-precomposed" sizes="152x152" href="../gitbook/images/apple-touch-icon-precomposed-152.png">
    <link rel="shortcut icon" href="../gitbook/images/favicon.ico" type="image/x-icon">

    
    <link rel="next" href="Hadoop性能优化.html" />
    
    

    </head>
    <body>
        
<div class="book">
    <div class="book-summary">
        
            
<div id="book-search-input" role="search">
    <input type="text" placeholder="Type to search" />
</div>

            
                <nav role="navigation">
                


<ul class="summary">
    
    

    

    
        
        
    
        <li class="chapter " data-level="1.1" data-path="../">
            
                <a href="../">
            
                    
                    简介
            
                </a>
            

            
        </li>
    
        <li class="chapter " data-level="1.2" >
            
                <span>
            
                    
                    Hadoop总结
            
                </span>
            

            
            <ul class="articles">
                
    
        <li class="chapter active" data-level="1.2.1" data-path="hadoopBase.html">
            
                <a href="hadoopBase.html">
            
                    
                    Hadoop基础
            
                </a>
            

            
        </li>
    
        <li class="chapter " data-level="1.2.2" data-path="Hadoop性能优化.html">
            
                <a href="Hadoop性能优化.html">
            
                    
                    Hadoop性能优化
            
                </a>
            

            
        </li>
    
        <li class="chapter " data-level="1.2.3" data-path="Hadoop故障处理.html">
            
                <a href="Hadoop故障处理.html">
            
                    
                    Hadoop故障处理
            
                </a>
            

            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.3" >
            
                <span>
            
                    
                    Flume总结
            
                </span>
            

            
            <ul class="articles">
                
    
        <li class="chapter " data-level="1.3.1" data-path="../chapter2/FlumeBase.html">
            
                <a href="../chapter2/FlumeBase.html">
            
                    
                    Flume基础
            
                </a>
            

            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.4" >
            
                <span>
            
                    
                    Hive总结
            
                </span>
            

            
            <ul class="articles">
                
    
        <li class="chapter " data-level="1.4.1" data-path="../chapter4/HiveBase.html">
            
                <a href="../chapter4/HiveBase.html">
            
                    
                    Hive基础
            
                </a>
            

            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.5" >
            
                <span>
            
                    
                    数仓总结
            
                </span>
            

            
            <ul class="articles">
                
    
        <li class="chapter " data-level="1.5.1" data-path="../chapter5/数仓基础.html">
            
                <a href="../chapter5/数仓基础.html">
            
                    
                    数仓理论
            
                </a>
            

            
        </li>
    
        <li class="chapter " data-level="1.5.2" data-path="../chapter5/数仓面试题.html">
            
                <a href="../chapter5/数仓面试题.html">
            
                    
                    题目汇总]
            
                </a>
            

            
        </li>
    

            </ul>
            
        </li>
    

    

    <li class="divider"></li>

    <li>
        <a href="https://www.gitbook.com" target="blank" class="gitbook-link">
            Published with GitBook
        </a>
    </li>
</ul>


                </nav>
            
        
    </div>

    <div class="book-body">
        
            <div class="body-inner">
                
                    

<div class="book-header" role="navigation">
    

    <!-- Title -->
    <h1>
        <i class="fa fa-circle-o-notch fa-spin"></i>
        <a href=".." >Hadoop基础</a>
    </h1>
</div>




                    <div class="page-wrapper" tabindex="-1" role="main">
                        <div class="page-inner">
                            
<div id="book-search-results">
    <div class="search-noresults">
    
                                <section class="normal markdown-section">
                                
                                <h2 id="hadoop&#x57FA;&#x7840;">Hadoop&#x57FA;&#x7840;</h2>
<h2 id="hadoop-&#x5E38;&#x7528;&#x7AEF;&#x53E3;&#x53F7;">Hadoop &#x5E38;&#x7528;&#x7AEF;&#x53E3;&#x53F7;</h2>
<pre><code class="lang-shell">dfs.namenode.http-address:50070
dfs.datanode.http-address:50075
SecondaryNameNode &#x8F85;&#x52A9;&#x540D;&#x79F0;&#x8282;&#x70B9;&#x7AEF;&#x53E3;&#x53F7;&#xFF1A;50090
dfs.datanode.address:50010
fs.defaultFS:8020 &#x6216;&#x8005; 9000
yarn.resourcemanager.webapp.address:8088
&#x5386;&#x53F2;&#x670D;&#x52A1;&#x5668; web &#x8BBF;&#x95EE;&#x7AEF;&#x53E3;&#xFF1A;19888
</code></pre>
<h3 id="hadoop-&#x914D;&#x7F6E;&#x6587;&#x4EF6;&#x4EE5;&#x53CA;hadoop&#x96C6;&#x7FA4;&#x642D;&#x5EFA;">Hadoop &#x914D;&#x7F6E;&#x6587;&#x4EF6;&#x4EE5;&#x53CA;Hadoop&#x96C6;&#x7FA4;&#x642D;&#x5EFA;</h3>
<p>&#x914D;&#x7F6E;&#x6587;&#x4EF6;&#xFF1A;</p>
<pre><code class="lang-xml">core-site.xml&#x3001;hdfs-site.xml&#x3001;mapred-site.xml&#x3001;yarn-site.xml
hadoop-env.sh&#x3001;yarn-env.sh&#x3001;mapred-env.sh&#x3001;slaves
</code></pre>
<p>&#x96C6;&#x7FA4;&#x642D;&#x5EFA;&#xFF1A;</p>
<ul>
<li>JDK&#x5B89;&#x88C5;</li>
<li>SSH&#x514D;&#x5BC6;&#x767B;&#x9646;</li>
<li>Hadoop&#x6838;&#x5FC3;&#x914D;&#x7F6E;&#x6587;&#x4EF6;</li>
<li>&#x683C;&#x5F0F;&#x5316;namenode</li>
<li>&#x542F;&#x52A8;</li>
</ul>
<h2 id="hdfs-&#x8BFB;&#x6D41;&#x7A0B;&#x548C;&#x5199;&#x6D41;&#x7A0B;">HDFS &#x8BFB;&#x6D41;&#x7A0B;&#x548C;&#x5199;&#x6D41;&#x7A0B;</h2>
<h3 id="hdfs-&#x8BFB;&#x6570;&#x636E;&#x7684;&#x6D41;&#x7A0B;">HDFS &#x8BFB;&#x6570;&#x636E;&#x7684;&#x6D41;&#x7A0B;</h3>
<p>&#x6587;&#x4EF6;&#x8BFB;&#x53D6;&#x5305;&#x62EC;&#xFF1A; open&#x3001;read&#x3001;close &#x4E09;&#x4E2A;&#x6B65;&#x9AA4;&#x3002;</p>
<ol>
<li>&#x8F93;&#x5165;&#x6D41;&#xFF1A;&#x5BA2;&#x6237;&#x7AEF;&#x8C03;&#x7528; <code>FileSystem</code> &#x7684; <code>open()</code> &#x65B9;&#x6CD5;&#xFF0C;&#x83B7;&#x53D6;&#x8F93;&#x5165;&#x6D41;&#xFF0C;&#x5728;HDFS &#x4E2D;&#x5C31;&#x662F;<code>DFSInputStream</code>&#x3002;</li>
<li>&#x6784;&#x9020;&#x6D41;&#xFF1A;&#xFF0C;&#x901A;&#x8FC7;RPC&#x8FDC;&#x7A0B;&#x8C03;&#x7528;<code>NameNode</code> &#x53EF;&#x4EE5;&#x83B7;&#x5F97;<code>NameNode</code> &#x8BE5;&#x6587;&#x4EF6;&#x7684;&#x6570;&#x636E;&#x5757;&#x5BF9;&#x5E94;&#x7684;&#x4F4D;&#x7F6E;&#xFF0C;&#x5305;&#x62EC;&#x8FD9;&#x4E2A;&#x6587;&#x4EF6;&#x7684;&#x526F;&#x672C;&#x4FDD;&#x5B58;&#x4F4D;&#x7F6E;&#xFF08;&#x4E5F;&#x5C31;&#x662F;&#x5404;&#x4E2A;DataNode&#x7684;&#x5730;&#x5740;&#xFF09;&#xFF0C;&#x8FD9;&#x4E2A;&#x6B65;&#x9AA4;&#x4F1A;&#x5BF9;DataNode&#x8FDB;&#x884C;&#x6392;&#x5E8F;&#xFF08;&#x6309;&#x7167;&#x5BA2;&#x6237;&#x7AEF;&#x4E0E;<code>DataNode</code>&#x7684;&#x8DDD;&#x79BB;&#xFF09;&#x3002;</li>
<li>&#x8BFB;&#x53D6;&#x6570;&#x636E;&#xFF1A;&#x83B7;&#x5F97;&#x8F93;&#x5165;&#x6D41;&#x4E4B;&#x540E;&#xFF0C;&#x5BA2;&#x6237;&#x7AEF;&#x8C03;&#x7528;<code>read()</code>&#x65B9;&#x6CD5;&#x8BFB;&#x53D6;&#x6570;&#x636E;&#xFF0C;&#x8F93;&#x5165;&#x6D41;<code>DFSinputstream</code> &#x4F1A;&#x6839;&#x636E;&#x6392;&#x5E8F;&#x7ED3;&#x679C;&#xFF0C;&#x9009;&#x62E9;&#x6700;&#x8FD1;&#x7684;<code>DataNode</code>&#x5EFA;&#x7ACB;&#x8FDE;&#x63A5;&#x5E76;&#x8BFB;&#x53D6;&#x6570;&#x636E;&#xFF0C;&#x5982;&#x679C;&#x5BA2;&#x6237;&#x7AEF;&#x548C;<code>DataNode</code>&#x5728;&#x4E00;&#x53F0;&#x673A;&#x5668;&#xFF0C;&#x5C31;&#x76F8;&#x5F53;&#x4E8E;&#x662F;&#x4ECE;&#x672C;&#x5730;&#x8BFB;&#x53D6;&#x6570;&#x636E;&#x3002;</li>
<li>&#x5982;&#x679C;&#x5DF2;&#x7ECF;&#x8BFB;&#x53D6;&#x5230;&#x4E00;&#x4E2A;<code>DataNode</code>&#x7684;&#x672B;&#x7AEF;&#xFF0C;&#x8FD9;&#x4E2A;&#x65F6;&#x5019;&#x8FD8;&#x6709;&#x6570;&#x636E;&#x6CA1;&#x6709;&#x8BFB;&#x5B8C;&#xFF0C;&#x5C31;&#x4F1A;&#x5728;&#x8FDB;&#x884C;&#x4E0A;&#x9762;&#x7684;&#x6B65;&#x9AA4;&#x3002;</li>
<li>&#x6700;&#x540E;&#x8C03;&#x7528; <code>close()</code> &#x91CA;&#x653E;&#x8D44;&#x6E90;&#x3002;</li>
</ol>
<h3 id="hdfs-&#x5199;&#x6570;&#x636E;&#x7684;&#x6D41;&#x7A0B;">HDFS &#x5199;&#x6570;&#x636E;&#x7684;&#x6D41;&#x7A0B;</h3>
<p>&#x6570;&#x636E;&#x5199;&#x5165;&#xFF1A;create&#x3001;write&#x3001;close &#x4E09;&#x4E2A;&#x6B65;&#x9AA4;</p>
<ol>
<li>&#x5BA2;&#x6237;&#x7AEF;&#x8C03;&#x7528; <code>FileSystem</code> &#x7684; <code>create()</code> &#x65B9;&#x6CD5;&#xFF0C;&#x521B;&#x5EFA;&#x6587;&#x4EF6;&#xFF0C;NameNode&#x901A;&#x8FC7;&#x68C0;&#x67E5;&#xFF0C;&#x6BD4;&#x5982;&#x6587;&#x4EF6;&#x662F;&#x5426;&#x5B58;&#x5728;&#xFF0C;&#x5BA2;&#x6237;&#x7AEF;&#x662F;&#x5426;&#x62E5;&#x6709;&#x521B;&#x5EFA;&#x6743;&#x9650;&#x7B49;&#x7B49;&#xFF0C;<code>create()</code> &#x65B9;&#x6CD5;&#x4F1A;&#x8FD4;&#x56DE;&#x4E00;&#x4E2A;&#x8F93;&#x51FA;&#x6D41;<code>DFSDataOutputStream</code>&#x7ED9;&#x5BA2;&#x6237;&#x7AEF;&#xFF1B;</li>
<li>&#x5BA2;&#x6237;&#x7AEF;&#x4F1A;&#x8C03;&#x7528; <code>DFSDataOutputStream</code>&#x7684;<code>write()</code>&#x65B9;&#x6CD5;&#x5411; HDFS &#x4E2D;&#x5BF9;&#x5E94;&#x7684;&#x6587;&#x4EF6;&#x5199;&#x5165;&#x6570;&#x636E;&#xFF0C;&#x6570;&#x636E;&#x9996;&#x5148;&#x4F1A;&#x88AB;&#x5206;&#x5305;&#xFF0C;&#x8FD9;&#x4E9B;&#x5206;&#x5305;&#x4F1A;&#x5199;&#x5165;&#x4E00;&#x4E2A;&#x8F93;&#x5165;&#x6D41;&#x5185;&#x90E8;&#x961F;&#x5217;Data&#x961F;&#x5217;&#x4E2D;&#xFF0C;&#x8FD9;&#x4E2A;&#x65F6;&#x5019;&#x53EF;&#x4EE5;&#x5199;&#x4E00;&#x4E2A;&#x76D1;&#x542C;&#x5668;&#x7684;&#x63A5;&#x53E3;&#xFF0C;&#x8FD9;&#x6837;&#x53EF;&#x4EE5;&#x5B9E;&#x65F6;&#x7684;&#x62FF;&#x5230;&#x5199;&#x5165;&#x7684;&#x8FDB;&#x5EA6;&#xFF1B;</li>
<li><code>DFSDataOutputStream</code> &#x4F1A;&#x5C06;&#x6570;&#x636E;&#x4F20;&#x8F93;&#x7ED9;&#x8DDD;&#x79BB;&#x4E0A;&#x6700;&#x77ED;&#x7684;DataNode&#xFF0C;&#x8FD9;&#x4E2A;DataNode&#x63A5;&#x6536;&#x5230;&#x6570;&#x636E;&#x5305;&#x4E4B;&#x540E;&#x4F1A;&#x4F20;&#x9012;&#x7ED9;&#x4E0B;&#x4E00;&#x4E2A;DataNode&#xFF0C;&#x6570;&#x636E;&#x4F1A;&#x5728;DataNode&#x4E4B;&#x95F4;&#x901A;&#x8FC7;&#x6570;&#x636E;&#x7BA1;&#x9053;&#x6D41;&#x901A;&#xFF0C;&#x800C;&#x4E0D;&#x662F;&#x9760;OutputStream &#x5206;&#x53D1;&#xFF0C;&#x8FD9;&#x6837;&#x53EF;&#x4EE5;&#x51CF;&#x5C11;&#x5F00;&#x9500;&#xFF1B;</li>
<li>&#x56E0;&#x4E3A;DataNode &#x4F4D;&#x4E8E;&#x4E0D;&#x540C;&#x7684;&#x673A;&#x5668;&#x4E0A;&#xFF0C;&#x6570;&#x636E;&#x9700;&#x8981;&#x901A;&#x8FC7;&#x7F51;&#x7EDC;&#x53D1;&#x9001;&#xFF0C;&#x6240;&#x4EE5;&#x4E3A;&#x4E86;&#x4FDD;&#x8BC1;&#x6240;&#x6709;&#x7684;DataNode&#x7684;&#x6570;&#x636E;&#x662F;&#x6B63;&#x786E;&#x7684;&#xFF0C;&#x63A5;&#x6536;&#x5230;&#x6570;&#x636E;&#x7684;DataNode&#x9700;&#x8981;&#x5411;&#x53D1;&#x9001;&#x8005;&#x53D1;&#x9001;&#x786E;&#x8BA4;&#x5305;&#xFF08;ACKPacket&#xFF09;&#xFF0C;&#x5BF9;&#x4E8E;&#x67D0;&#x4E2A;&#x6570;&#x636E;&#x5757;&#xFF0C;&#x53EA;&#x6709;&#x5F53; DFSDataOutputStream &#x6536;&#x5230;&#x4E86;&#x6240;&#x6709;DataNode &#x6B63;&#x786E;&#x7684;ACK&#xFF0C;&#x624D;&#x80FD;&#x8BA4;&#x4E3A;&#x4F20;&#x8F93;&#x7ED3;&#x675F;&#xFF0C;DFSDataOutputStream &#x5185;&#x90E8;&#x7EF4;&#x62A4;&#x4E86;&#x4E00;&#x4E2A;&#x7B49;&#x5F85;ACK&#x961F;&#x5217;&#xFF0C;&#x8FD9;&#x4E2A;&#x961F;&#x5217;&#x5B58;&#x50A8;&#x4E86;&#x5DF2;&#x7ECF;&#x8FDB;&#x5165;&#x7BA1;&#x9053;&#x4F20;&#x8F93;&#x6570;&#x636E;&#xFF0C;&#x4F46;&#x662F;&#x5E76;&#x672A;&#x5B8C;&#x5168;&#x786E;&#x8BA4;&#x7684;&#x6570;&#x636E;&#x5305;&#x3002;</li>
<li>&#x76F4;&#x5230;&#xFF0C;3-4 &#x5168;&#x90E8;&#x8D70;&#x5B8C;&#xFF0C;&#x6700;&#x540E;&#x8C03;&#x7528;<code>close()</code>&#x65B9;&#x6CD5;&#x3002;</li>
<li>&#x7B49;&#x5230;&#x6240;&#x6709;&#x4F20;&#x8F93;&#x5B8C;&#x6BD5;&#x4E4B;&#x540E;&#x8C03;&#x7528;<code>complete()</code>&#x65B9;&#x6CD5;&#xFF0C;&#x544A;&#x77E5;NameNode&#x3002;</li>
<li>NameNode &#x63A5;&#x6536;&#x5230;<code>complete()</code> &#x65B9;&#x6CD5;&#x4E4B;&#x540E;&#xFF0C;&#x7B49;&#x5F85;&#x76F8;&#x5E94;&#x6570;&#x91CF;&#x7684;&#x526F;&#x672C;&#x5199;&#x5165;&#x5B8C;&#x6BD5;&#xFF0C;&#x544A;&#x77E5;&#x5BA2;&#x6237;&#x7AEF;&#x5199;&#x5165;&#x5B8C;&#x6210;&#x3002;</li>
</ol>
<h3 id="mapreduce-&#x5DE5;&#x4F5C;&#x6D41;&#x7A0B;&#xFF08;1&#xFF09;">MapReduce &#x5DE5;&#x4F5C;&#x6D41;&#x7A0B;&#xFF08;1&#xFF09;</h3>
<h4 id="1-&#x4F5C;&#x4E1A;&#x7684;&#x63D0;&#x4EA4;">1. &#x4F5C;&#x4E1A;&#x7684;&#x63D0;&#x4EA4;</h4>
<p>&#x4F5C;&#x4E1A;&#x7684;&#x63D0;&#x4EA4;&#x9700;&#x8981;&#x5229;&#x7528;&#x5230; JobClient &#xFF0C;JobClient &#x63D0;&#x4F9B;&#x63D0;&#x4EA4;&#x4F5C;&#x4E1A;&#xFF0C;&#x8DDF;&#x8E2A;&#x8FDB;&#x7A0B;&#xFF0C;&#x8BBF;&#x95EE;&#x5B50;&#x4EFB;&#x52A1;&#x7684;&#x65E5;&#x5FD7;&#x8BB0;&#x5F55;&#xFF0C;&#x83B7;&#x5F97;Map/Reduce&#x96C6;&#x7FA4;&#x72B6;&#x6001;&#x4FE1;&#x606F;&#x7B49;&#x529F;&#x80FD;&#x3002;</p>
<p>&#x4F5C;&#x4E1A;&#x63D0;&#x4EA4;&#x8FC7;&#x7A0B;&#x5305;&#x62EC;&#xFF1A;</p>
<ol>
<li>&#x68C0;&#x67E5;&#x4F5C;&#x4E1A;&#x8F93;&#x5165;&#x3001;&#x8F93;&#x51FA;&#x6837;&#x5F0F;&#x7EC6;&#x8282;&#xFF1B;</li>
<li>&#x4E3A;&#x4F5C;&#x4E1A;&#x8BA1;&#x7B97;InputSplit &#x503C;&#xFF0C;&#x5373;&#x8BA1;&#x7B97;&#x5207;&#x7247;&#xFF0C;&#x8981;&#x5207;&#x591A;&#x5C11;&#x7247;&#xFF1B;</li>
<li>&#x5982;&#x679C;&#x6709;&#x9700;&#x8981;&#x7684;&#x8BDD;&#xFF0C;&#x4E3A;&#x4F5C;&#x4E1A;&#x7684;DistributedCache&#x5EFA;&#x7ACB;&#x5FC5;&#x987B;&#x7684;&#x7EDF;&#x8BA1;&#x4FE1;&#x606F;&#xFF1B;</li>
<li>&#x62F7;&#x8D1D;&#x4F5C;&#x4E1A;&#x7684;jar&#x5305;&#x548C;&#x914D;&#x7F6E;&#x6587;&#x4EF6;&#x5230;FileSystem&#x4E0A;&#x7684;Map/Reduce&#x7CFB;&#x7EDF;&#x76EE;&#x5F55;&#x4E0B;&#x3002;</li>
<li>&#x63D0;&#x4EA4;&#x4F5C;&#x4E1A;&#x5230;JobTracker&#x5E76;&#x4E14;&#x76D1;&#x63A7;&#x5B83;&#x7684;&#x72B6;&#x6001;&#x3002;</li>
</ol>
<p>&#x603B;&#x7684;&#x6765;&#x8BF4;&#x8FD9;&#x4E00;&#x6B65;&#x5C31;&#x662F;&#xFF0C;&#x63D0;&#x524D;&#x505A;&#x597D;&#x89C4;&#x5212;&#xFF0C;&#x5927;&#x6587;&#x4EF6;&#x5207;&#x7247;&#xFF0C;&#x51C6;&#x5907;&#x597D;jar&#x5305;&#xFF0C;&#x8BBE;&#x7F6E;&#x597D;&#x65E5;&#x5FD7;&#x76D1;&#x63A7;&#x3002;</p>
<h5 id="11-&#x4F5C;&#x4E1A;&#x7684;&#x63A7;&#x5236;">1.1 &#x4F5C;&#x4E1A;&#x7684;&#x63A7;&#x5236;</h5>
<p>&#x6709;&#x65F6;&#x5019;&#xFF0C;&#x7528;&#x4E00;&#x4E2A;&#x5355;&#x72EC;&#x7684;Map/Reduce&#x4F5C;&#x4E1A;&#x5E76;&#x4E0D;&#x80FD;&#x5B8C;&#x6210;&#x4E00;&#x4E2A;&#x590D;&#x6742;&#x7684;&#x4EFB;&#x52A1;&#xFF0C;&#x7528;&#x6237;&#x4E5F;&#x8BB8;&#x8981;&#x94FE;&#x63A5;&#x591A;&#x4E2A;Map/Reduce&#x4F5C;&#x4E1A;&#x624D;&#x884C;&#x3002;&#x8FD9;&#x662F;&#x5BB9;&#x6613;&#x5B9E;&#x73B0;&#x7684;&#xFF0C;&#x56E0;&#x4E3A;&#x4F5C;&#x4E1A;&#x901A;&#x5E38;&#x8F93;&#x51FA;&#x5230;&#x5206;&#x5E03;&#x5F0F;&#x6587;&#x4EF6;&#x7CFB;&#x7EDF;&#x4E0A;&#x7684;&#xFF0C;&#x6240;&#x4EE5;&#x53EF;&#x4EE5;&#x628A;&#x8FD9;&#x4E2A;&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x51FA;&#x4F5C;&#x4E3A;&#x4E0B;&#x4E00;&#x4E2A;&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x5165;&#x5B9E;&#x73B0;&#x4E32;&#x8054;&#x3002;</p>
<p>&#x7136;&#x800C;&#xFF0C;&#x8FD9;&#x4E5F;&#x610F;&#x5473;&#x7740;&#xFF0C;&#x786E;&#x4FDD;&#x6BCF;&#x4E00;&#x4F5C;&#x4E1A;&#x5B8C;&#x6210;(&#x6210;&#x529F;&#x6216;&#x5931;&#x8D25;)&#x7684;&#x8D23;&#x4EFB;&#x5C31;&#x76F4;&#x63A5;&#x843D;&#x5728;&#x4E86;&#x5BA2;&#x6237;&#x8EAB;&#x4E0A;&#x3002;&#x5728;&#x8FD9;&#x79CD;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;&#x53EF;&#x4EE5;&#x7528;&#x7684;&#x63A7;&#x5236;&#x4F5C;&#x4E1A;&#x7684;&#x9009;&#x9879;&#x6709;&#xFF1A;</p>
<ul>
<li><code>runJob(JobConf)</code>&#xFF1A;&#x63D0;&#x4EA4;&#x4F5C;&#x4E1A;&#xFF0C;&#x4EC5;&#x5F53;&#x4F5C;&#x4E1A;&#x5B8C;&#x6210;&#x65F6;&#x8FD4;&#x56DE;&#x3002;</li>
<li><code>submitJob(JobConf)</code>&#xFF1A;&#x53EA;&#x63D0;&#x4EA4;&#x4F5C;&#x4E1A;&#xFF0C;&#x4E4B;&#x540E;&#x9700;&#x8981;&#x4F60;&#x8F6E;&#x8BE2;&#x5B83;&#x8FD4;&#x56DE;&#x7684; <code>RunningJob</code>&#x53E5;&#x67C4;&#x7684;&#x72B6;&#x6001;&#xFF0C;&#x5E76;&#x6839;&#x636E;&#x60C5;&#x51B5;&#x8C03;&#x5EA6;&#x3002;</li>
<li><code>JobConf.setJobEndNotificationURI(String)</code>&#xFF1A;&#x8BBE;&#x7F6E;&#x4E00;&#x4E2A;&#x4F5C;&#x4E1A;&#x5B8C;&#x6210;&#x901A;&#x77E5;&#xFF0C;&#x53EF;&#x907F;&#x514D;&#x8F6E;&#x8BE2;&#x3002;</li>
</ul>
<h4 id="2-&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x5165;">2. &#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x5165;</h4>
<p>Map/Reduce&#x6846;&#x67B6;&#x6839;&#x636E;&#x4F5C;&#x4E1A;&#x7684;<code>InputFormat</code>&#x6765;&#xFF1A;</p>
<ol>
<li>&#x68C0;&#x67E5;&#x8F93;&#x5165;&#x7684;&#x6709;&#x6548;&#x6027;&#xFF1B;</li>
<li>&#x628A;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#x5207;&#x5206;&#x6210;&#x591A;&#x4E2A;&#x903B;&#x8F91; <code>InputSplit</code> &#x5B9E;&#x4F8B;&#xFF0C;&#x5E76;&#x628A;&#x6BCF;&#x4E2A;&#x5B9E;&#x4F8B;&#x5206;&#x53D1;&#x7ED9; <code>Mapper</code>&#xFF1B;</li>
<li>&#x63D0;&#x4F9B; <code>RecordReader</code> &#x5B9E;&#x73B0;&#xFF0C;&#x8FD9;&#x4E2A;<code>RecordReader</code>&#x4ECE;&#x903B;&#x8F91;<code>InputSplit</code>&#x4E2D;&#x83B7;&#x5F97;&#x8F93;&#x5165;&#x8BB0;&#x5F55;&#xFF0C; &#x8FD9;&#x4E9B;&#x8BB0;&#x5F55;&#x5C06;&#x7531;<code>Mapper</code>&#x5904;&#x7406;&#x3002;</li>
</ol>
<p>&#x8FD9;&#x4E2A; <code>InputFormat</code>&#x4E00;&#x822C;&#x5728;&#x64CD;&#x4F5C;&#x7684;&#x65F6;&#x5019;&#x4F1A;&#x7528; <code>TextInputFormat</code>&#xFF0C;&#x9ED8;&#x8BA4;&#x884C;&#x4E3A;&#x662F;&#x6309;&#x7167;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#x7684;&#x5B57;&#x8282;&#x5927;&#x5C0F;&#xFF0C;&#x628A;&#x8F93;&#x5165;&#x6570;&#x636E;&#x5207;&#x5206;&#x6210;&#x903B;&#x8F91;&#x5206;&#x5757;&#xFF08;<code>logical InputSplit</code> &#xFF09;&#x3002; &#x5176;&#x4E2D;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#x6240;&#x5728;&#x7684;<code>FileSystem</code>&#x7684;&#x6570;&#x636E;&#x5757;&#x5C3A;&#x5BF8;&#x662F;&#x5206;&#x5757;&#x5927;&#x5C0F;&#x7684;&#x4E0A;&#x9650;&#x3002;&#x4E0B;&#x9650;&#x53EF;&#x4EE5;&#x8BBE;&#x7F6E;<code>mapred.min.split.size</code> &#x7684;&#x503C;&#x3002;</p>
<p>&#x8003;&#x8651;&#x5230;&#x8FB9;&#x754C;&#x60C5;&#x51B5;&#xFF0C;&#x5BF9;&#x4E8E;&#x5F88;&#x591A;&#x5E94;&#x7528;&#x7A0B;&#x5E8F;&#x6765;&#x8BF4;&#xFF0C;&#x5F88;&#x660E;&#x663E;&#x6309;&#x7167;&#x6587;&#x4EF6;&#x5927;&#x5C0F;&#x8FDB;&#x884C;&#x903B;&#x8F91;&#x5206;&#x5272;&#x662F;&#x4E0D;&#x80FD;&#x6EE1;&#x8DB3;&#x9700;&#x6C42;&#x7684;&#x3002; &#x5728;&#x8FD9;&#x79CD;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;&#x5E94;&#x7528;&#x7A0B;&#x5E8F;&#x9700;&#x8981;&#x5B9E;&#x73B0;&#x4E00;&#x4E2A;<code>RecordReader</code>&#x6765;&#x5904;&#x7406;&#x8BB0;&#x5F55;&#x7684;&#x8FB9;&#x754C;&#x5E76;&#x4E3A;&#x6BCF;&#x4E2A;&#x4EFB;&#x52A1;&#x63D0;&#x4F9B;&#x4E00;&#x4E2A;&#x903B;&#x8F91;&#x5206;&#x5757;&#x7684;&#x9762;&#x5411;&#x8BB0;&#x5F55;&#x7684;&#x89C6;&#x56FE;&#x3002;</p>
<p><code>TextInputFormat</code> &#x662F;&#x9ED8;&#x8BA4;&#x7684;<code>InputFormat</code>&#x3002;</p>
<p>&#x5982;&#x679C;&#x4E00;&#x4E2A;&#x4F5C;&#x4E1A;&#x7684;Inputformat&#x662F;TextInputFormat&#xFF0C; &#x5E76;&#x4E14;&#x6846;&#x67B6;&#x68C0;&#x6D4B;&#x5230;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#x7684;&#x540E;&#x7F00;&#x662F;.gz&#x548C;.lzo&#xFF0C;&#x5C31;&#x4F1A;&#x4F7F;&#x7528;&#x5BF9;&#x5E94;&#x7684;CompressionCodec&#x81EA;&#x52A8;&#x89E3;&#x538B;&#x7F29;&#x8FD9;&#x4E9B;&#x6587;&#x4EF6;&#x3002; &#x4F46;&#x662F;&#x9700;&#x8981;&#x6CE8;&#x610F;&#xFF0C;&#x4E0A;&#x8FF0;&#x5E26;&#x540E;&#x7F00;&#x7684;&#x538B;&#x7F29;&#x6587;&#x4EF6;&#x4E0D;&#x4F1A;&#x88AB;&#x5207;&#x5206;&#xFF0C;&#x5E76;&#x4E14;&#x6574;&#x4E2A;&#x538B;&#x7F29;&#x6587;&#x4EF6;&#x4F1A;&#x5206;&#x7ED9;&#x4E00;&#x4E2A;mapper&#x6765;&#x5904;&#x7406;&#x3002;</p>
<p><strong>InputSplit</strong>
<code>InputSplit</code> &#x662F;&#x4E00;&#x4E2A;&#x5355;&#x72EC;&#x7684;Mapper&#x8981;&#x5904;&#x7406;&#x7684;&#x6570;&#x636E;&#x5757;&#x3002;</p>
<p>&#x4E00;&#x822C;&#x7684;<code>InputSplit</code> &#x662F;&#x5B57;&#x8282;&#x6837;&#x5F0F;&#x8F93;&#x5165;&#xFF0C;&#x7136;&#x540E;&#x7531;<code>RecordReader</code>&#x5904;&#x7406;&#x5E76;&#x8F6C;&#x5316;&#x6210;&#x8BB0;&#x5F55;&#x6837;&#x5F0F;&#x3002;</p>
<p><code>FileSplit</code> &#x662F;&#x9ED8;&#x8BA4;&#x7684;<code>InputSplit</code>&#x3002; &#x5B83;&#x628A;<code>map.input.file</code>&#x8BBE;&#x5B9A;&#x4E3A;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#x7684;&#x8DEF;&#x5F84;&#xFF0C;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#x662F;&#x903B;&#x8F91;&#x5206;&#x5757;&#x6587;&#x4EF6;&#x3002;</p>
<p><strong>RecordReader</strong></p>
<p>RecordReader &#x4ECE;<code>InputSlit</code>&#x8BFB;&#x5165;<key, value="">&#x5BF9;&#x3002;</key,></p>
<p>&#x4E00;&#x822C;&#x7684;&#xFF0C;RecordReader &#x628A;&#x7531;InputSplit &#x63D0;&#x4F9B;&#x7684;&#x5B57;&#x8282;&#x6837;&#x5F0F;&#x7684;&#x8F93;&#x5165;&#x6587;&#x4EF6;&#xFF0C;&#x8F6C;&#x5316;&#x6210;&#x7531;Mapper&#x5904;&#x7406;&#x7684;&#x8BB0;&#x5F55;&#x6837;&#x5F0F;&#x7684;&#x6587;&#x4EF6;&#x3002; &#x56E0;&#x6B64;RecordReader&#x8D1F;&#x8D23;&#x5904;&#x7406;&#x8BB0;&#x5F55;&#x7684;&#x8FB9;&#x754C;&#x60C5;&#x51B5;&#x548C;&#x628A;&#x6570;&#x636E;&#x8868;&#x793A;&#x6210;<code>keys/values</code>&#x5BF9;&#x5F62;&#x5F0F;&#x3002;</p>
<h4 id="3-&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x51FA;">3. &#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x51FA;</h4>
<p><strong>Outputformat</strong> &#x63CF;&#x8FF0;Map/Reduce&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x51FA;&#x6837;&#x5F0F;</p>
<p>OutputFormat &#x4E3B;&#x8981;&#x505A;&#x4E24;&#x4E2A;&#x4E8B;&#x60C5;&#xFF1A;</p>
<ol>
<li>&#x68C0;&#x9A8C;&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x51FA;&#xFF0C;&#x4F8B;&#x5982;&#x68C0;&#x67E5;&#x8F93;&#x51FA;&#x8DEF;&#x5F84;&#x662F;&#x5426;&#x5DF2;&#x7ECF;&#x5B58;&#x5728;&#x3002;</li>
<li>&#x63D0;&#x4F9B;&#x4E00;&#x4E2A;<code>RecordWriter</code>&#x7684;&#x5B9E;&#x73B0;&#xFF0C;&#x7528;&#x6765;&#x8F93;&#x51FA;&#x4F5C;&#x4E1A;&#x7ED3;&#x679C;&#x3002;&#x8F93;&#x51FA;&#x6587;&#x4EF6;&#x4FDD;&#x5B58;&#x5728;<code>FileSystem</code>&#x4E0A;&#x3002;</li>
</ol>
<p><code>TextOutputFormat</code>&#x662F;&#x9ED8;&#x8BA4;&#x7684; <code>OutputFormat</code>&#x3002;</p>
<p><strong>RecordWriter</strong>
<code>RecordWriter</code> &#x751F;&#x6210;<code>&lt;key, value&gt;</code> &#x5BF9;&#x5230;&#x8F93;&#x51FA;&#x6587;&#x4EF6;&#x3002;</p>
<p><code>RecordWriter</code>&#x7684;&#x5B9E;&#x73B0;&#x628A;&#x4F5C;&#x4E1A;&#x7684;&#x8F93;&#x51FA;&#x7ED3;&#x679C;&#x5199;&#x5230; <code>FileSystem</code>&#x3002;</p>
<h3 id="shuffer-&#x673A;&#x5236;">shuffer &#x673A;&#x5236;</h3>
<p>Map &#x65B9;&#x6CD5;&#x4E4B;&#x540E; Reduce &#x65B9;&#x6CD5;&#x4E4B;&#x524D;&#x8FD9;&#x6BB5;&#x5904;&#x7406;&#x8FC7;&#x7A0B;&#x53EB; Shuffle</p>
<p>Map &#x65B9;&#x6CD5;&#x6700;&#x540E;&#x4F1A;&#x8C03;&#x7528;<code>Context.write()</code>&#x65B9;&#x6CD5;&#xFF0C;&#x8FD9;&#x4E2A;&#x65F6;&#x5019;&#x6570;&#x636E;&#x9996;&#x5148;&#x8FDB;&#x5165;&#x5230;&#x5206;&#x533A;&#x65B9;&#x6CD5;&#xFF0C;&#x628A;&#x6570;&#x636E;&#x6807;&#x8BB0;&#x597D;&#x5206;&#x533A;&#xFF0C;&#x7136;&#x540E;&#x628A;&#x6570;&#x636E;&#x53D1;&#x9001;&#x5230;&#x73AF;&#x5F62;&#x7F13;&#x51B2;&#x533A;&#xFF0C;&#x73AF;&#x5F62;&#x7F13;&#x51B2;&#x533A;&#x7684;&#x9ED8;&#x8BA4;&#x5927;&#x5C0F;&#x662F;100M&#xFF0C;&#x5F53;&#x73AF;&#x5F62;&#x7F13;&#x51B2;&#x533A;&#x4E2D;&#x7684;&#x6570;&#x636E;&#x8FBE;&#x5230;80%&#x4E4B;&#x540E;&#xFF0C;&#x8FDB;&#x884C;&#x6EA2;&#x5199;&#xFF0C;&#x6EA2;&#x5199;&#x524D;&#x4F1A;&#x5BF9;&#x6570;&#x636E;&#x8FDB;&#x884C;&#x6392;&#x5E8F;&#xFF0C;&#x6392;&#x5E8F;&#x6309;&#x7167;&#x5BF9; key &#x7684;&#x7D22;&#x5F15;&#x8FDB;&#x884C;&#x5B57;&#x5178;&#x987A;&#x5E8F;&#x6392;&#x5E8F;&#xFF0C;&#x6392;&#x5E8F;&#x624B;&#x6BB5;&#x662F;&#x5FEB;&#x901F;&#x6392;&#x5E8F;&#xFF0C;&#x6EA2;&#x5199;&#x4EA7;&#x751F;&#x5927;&#x91CF;&#x6EA2;&#x5199;&#x6587;&#x4EF6;&#xFF0C;&#x9700;&#x8981;&#x5BF9;&#x6EA2;&#x5199;&#x6587;&#x4EF6;&#x8FDB;&#x884C;&#x5F52;&#x5E76;&#x6392;&#x5E8F;&#x4E5F;&#x5C31;&#x662F;merge&#xFF0C;&#x5BF9;&#x6EA2;&#x5199;&#x6587;&#x4EF6;&#x8FDB;&#x884C;<code>Combiner</code> &#x64CD;&#x4F5C;&#xFF0C;&#x524D;&#x63D0;&#x662F;&#x6C47;&#x603B;&#x64CD;&#x4F5C;&#xFF0C;&#x6700;&#x540E;&#x5C06;&#x6587;&#x4EF6;&#x6309;&#x7167;&#x5206;&#x533A;&#x5B58;&#x50A8;&#x5230;&#x78C1;&#x76D8;&#xFF0C;&#x7B49;&#x5F85; Reduce &#x7AEF;&#x62C9;&#x53D6;&#xFF08;&#x8FD9;&#x5176;&#x4E2D;&#x5176;&#x5B9E;&#x53EF;&#x4EE5;&#x505A;&#x4E00;&#x4E2A;&#x5C0F;&#x7684;&#x4F18;&#x5316;&#xFF0C;&#x8C03;&#x5927;&#x7F13;&#x51B2;&#x533A;&#x7684;&#x5185;&#x5B58;&#x5927;&#x5C0F;&#xFF0C;&#x53EF;&#x4EE5;&#x51CF;&#x5C11;&#x6EA2;&#x5199;&#x64CD;&#x4F5C;&#x4ECE;&#x800C;&#x63D0;&#x5347;&#x901F;&#x5EA6;&#xFF09;&#x3002;</p>
<p>&#x6BCF;&#x4E2A; Reduce &#x62C9;&#x53D6; Map &#x7AEF;&#x5BF9;&#x5E94;&#x5206;&#x533A;&#x7684;&#x6570;&#x636E;&#x3002;&#x62C9;&#x53D6;&#x6570;&#x636E;&#x540E;&#x5148;&#x5B58;&#x50A8;&#x5230;&#x5185;&#x5B58;&#x4E2D;&#xFF0C;&#x5185;&#x5B58;&#x4E0D;&#x591F;&#x4E86;&#xFF0C;&#x518D;&#x5B58;&#x50A8;&#x5230;&#x78C1;&#x76D8;&#x3002;&#x62C9;&#x53D6;&#x5B8C;&#x6240;&#x6709;&#x6570;&#x636E;&#x540E;&#xFF0C;&#x91C7;&#x7528;&#x5F52;&#x5E76;&#x6392;&#x5E8F;&#x5C06;&#x5185;&#x5B58;&#x548C;&#x78C1;&#x76D8;&#x4E2D;&#x7684;&#x6570;&#x636E;&#x90FD;&#x8FDB;&#x884C;&#x6392;&#x5E8F;&#x3002;&#x5728;&#x8FDB;&#x5165; Reduce &#x65B9;&#x6CD5;&#x524D;&#xFF0C;&#x53EF;&#x4EE5;&#x5BF9;&#x6570;&#x636E;&#x8FDB;&#x884C;&#x5206;&#x7EC4;&#x64CD;&#x4F5C;&#x3002;</p>
<blockquote>
<p>&#x5FEB;&#x901F;&#x6392;&#x5E8F;&#x7684;&#x57FA;&#x672C;&#x539F;&#x7406;&#xFF1A;&#x9996;&#x5148;&#x53D6;&#x4E00;&#x4E2A;&#x57FA;&#x672C;&#x6570;&#xFF0C;&#x7136;&#x540E;&#x57FA;&#x4E8E;&#x8FD9;&#x4E2A;&#x6570;&#x8FDB;&#x884C;&#x5206;&#x533A;&#xFF0C;&#x6BD4;&#x8FD9;&#x4E2A;&#x6570;&#x5C0F;&#x7684;&#x653E;&#x5230;&#x5DE6;&#x8FB9;&#xFF0C;&#x6BD4;&#x8FD9;&#x4E2A;&#x6570;&#x5927;&#x7684;&#x653E;&#x5230;&#x53F3;&#x8FB9;&#xFF0C;&#x5728;&#x5BF9;&#x5DE6;&#x53F3;&#x533A;&#x95F4;&#x91CD;&#x590D;&#x7B2C;&#x4E8C;&#x6B65;&#xFF0C;&#x76F4;&#x5230;&#x5404;&#x4E2A;&#x533A;&#x95F4;&#x53EA;&#x6709;&#x4E00;&#x4E2A;&#x6570;&#x3002;</p>
<p>&#x5F52;&#x5E76;&#x6392;&#x5E8F;&#xFF1A;1. &#x5206;&#xFF1A;&#x5C06;&#x4E00;&#x4E2A;&#x5927;&#x6570;&#x7EC4;&#x5206;&#x4E3A;&#x4E24;&#x4E2A;&#x5C0F;&#x6570;&#x7EC4;&#xFF0C; &#x4E00;&#x76F4;&#x5F80;&#x5C0F;&#x4E86;&#x5206;&#x76F4;&#x5230;&#x5212;&#x5206;&#x540E;&#x7684;&#x6570;&#x7EC4;&#x957F;&#x5EA6;&#x4E3A;1&#x65F6;&#x505C;&#x6B62;&#xFF0C;&#x6B64;&#x65F6;&#x5C06;&#x6BCF;&#x4E00;&#x4E2A;&#x5B50;&#x6570;&#x7EC4;&#x89C6;&#x4E3A;&#x6709;&#x5E8F;&#x5B50;&#x5E8F;&#x5217;&#x3002;2. &#x6CBB;&#xFF1A;&#x5C06;&#x4E24;&#x4E2A;&#x6709;&#x5E8F;&#x7684;&#x5B50;&#x6570;&#x7EC4;&#x5408;&#x5E76;&#x4E3A;&#x66F4;&#x5927;&#x7684;&#x6709;&#x5E8F;&#x7684;&#x6570;&#x7EC4;&#x76F4;&#x81F3;&#x5408;&#x5E76;&#x6210;&#x7684;&#x6570;&#x7EC4;&#x4E3A;&#x6574;&#x4E2A;&#x5E8F;&#x5217;&#x3002; &#x65F6;&#x95F4;&#x590D;&#x6742;&#x5EA6;&#x662F; <code>O(n log n)</code></p>
</blockquote>

                                
                                </section>
                            
    </div>
    <div class="search-results">
        <div class="has-results">
            
            <h1 class="search-results-title"><span class='search-results-count'></span> results matching "<span class='search-query'></span>"</h1>
            <ul class="search-results-list"></ul>
            
        </div>
        <div class="no-results">
            
            <h1 class="search-results-title">No results matching "<span class='search-query'></span>"</h1>
            
        </div>
    </div>
</div>

                        </div>
                    </div>
                
            </div>

            
                
                
                <a href="Hadoop性能优化.html" class="navigation navigation-next navigation-unique" aria-label="Next page: Hadoop性能优化">
                    <i class="fa fa-angle-right"></i>
                </a>
                
            
        
    </div>

    <script>
        var gitbook = gitbook || [];
        gitbook.push(function() {
            gitbook.page.hasChanged({"page":{"title":"Hadoop基础","level":"1.2.1","depth":2,"next":{"title":"Hadoop性能优化","level":"1.2.2","depth":2,"path":"chapter1/Hadoop性能优化.md","ref":"chapter1/Hadoop性能优化.md","articles":[]},"previous":{"title":"Hadoop总结","level":"1.2","depth":1,"ref":"","articles":[{"title":"Hadoop基础","level":"1.2.1","depth":2,"path":"chapter1/hadoopBase.md","ref":"chapter1/hadoopBase.md","articles":[]},{"title":"Hadoop性能优化","level":"1.2.2","depth":2,"path":"chapter1/Hadoop性能优化.md","ref":"chapter1/Hadoop性能优化.md","articles":[]},{"title":"Hadoop故障处理","level":"1.2.3","depth":2,"path":"chapter1/Hadoop故障处理.md","ref":"chapter1/Hadoop故障处理.md","articles":[]}]},"dir":"ltr"},"config":{"gitbook":"*","theme":"default","variables":{},"plugins":[],"pluginsConfig":{"highlight":{},"search":{},"lunr":{"maxIndexSize":1000000,"ignoreSpecialCharacters":false},"sharing":{"facebook":true,"twitter":true,"google":false,"weibo":false,"instapaper":false,"vk":false,"all":["facebook","google","twitter","weibo","instapaper"]},"fontsettings":{"theme":"white","family":"sans","size":2},"theme-default":{"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"},"showLevel":false}},"structure":{"langs":"LANGS.md","readme":"README.md","glossary":"GLOSSARY.md","summary":"SUMMARY.md"},"pdf":{"pageNumbers":true,"fontSize":12,"fontFamily":"Arial","paperSize":"a4","chapterMark":"pagebreak","pageBreaksBefore":"/","margin":{"right":62,"left":62,"top":56,"bottom":56}},"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"}},"file":{"path":"chapter1/hadoopBase.md","mtime":"2021-03-29T03:10:19.038Z","type":"markdown"},"gitbook":{"version":"3.2.3","time":"2021-03-30T00:41:16.128Z"},"basePath":"..","book":{"language":""}});
        });
    </script>
</div>

        
    <script src="../gitbook/gitbook.js"></script>
    <script src="../gitbook/theme.js"></script>
    
        
        <script src="../gitbook/gitbook-plugin-search/search-engine.js"></script>
        
    
        
        <script src="../gitbook/gitbook-plugin-search/search.js"></script>
        
    
        
        <script src="../gitbook/gitbook-plugin-lunr/lunr.min.js"></script>
        
    
        
        <script src="../gitbook/gitbook-plugin-lunr/search-lunr.js"></script>
        
    
        
        <script src="../gitbook/gitbook-plugin-sharing/buttons.js"></script>
        
    
        
        <script src="../gitbook/gitbook-plugin-fontsettings/fontsettings.js"></script>
        
    

    </body>
</html>

